O ato de um indivíduo avaliado ser uma composição única de atributos e necessidades é facilmente entendido. O menos óbvio é que os programas também têm personalidades complexas por si mesmos, como os indivíduos que os compõem. Eles extraem as suas necessidades de seus próprios contextos, e daí encontram sentido na avaliação que opere nesses contextos singulares. O que é significativo para um programa pode não ser para outro. A avaliação é influenciada pelo contexto do programa. Reciprocamente, ela pode influenciar o contexto também. O desafio é descobrir por completo o contexto com suas necessidades. Assim os resultados serão significativos para o programa em sua esfera de influência. Três tipos de contextos de avaliação da experiência brasileira são ilustrados e discutidos neste trabalho - um programa de grande visibilidade dentro de um contexto político, um programa de baixa visibilidade em um contexto difuso, e um programa cujo contexto contem simultaneamente os dois componentes.

That an individual evaluee is a unique composition of attributes and needs is commonly understood. What is less obvious is that programs, too, have complex personalities of their own, like the individuals that compose them. They draw their needs from their own contexts, and draw meaning from an evaluation, operating in these unique contexts. What is meaningful to one program may not be so for another. Evaluation is influenced by the program's context. Reciprocally, it can influence the context too. The challenge is to fully discover the context with its needs, so results are meaningful to the program in its sphere of influence. Three types of evaluation contexts from the Brazilian experience will be illustrated and discussed in this paper - a high visibility program within a political context; a low visibility program with an unclear context; and a program context with two simultaneously active components.

La evaluación de un individuo se la entiende, comúnmente, como una composición única de atributos y necesidades. Lo menos obvio es que los programas también tienen personalidades complejas por sí propias, así como los individuos que los componen. Ellos sacan sus necesidades de sus propios contextos, elaboran de ese modo el significado para una evaluación que opere en estos contextos únicos. Lo que es significativo para un programa puede no serlo para el otro. El contexto del programa influye en la evaluación. Y viceversa, la evaluación también puede influenciar el contexto. El desafío es descubrir por completo el contexto con sus necesidades, así los resultados serán significativos para el programa en su esfera de influencia. En este trabajo se ilustrarán y discutirán tres tipos de contextos de evaluación de la experiencia brasileña: un programa de gran visibilidad dentro de un contexto político, un programa de poca visibilidad en un contexto inespecífico, y un programa cuyo contexto contenga simultáneamente los dos componentes.

Não há dúvida de que as políticas de avaliação tornam o trabalho do avaliador uma tarefa mais fácil por darem mais transparência ao processo avaliativo e mais segurança às pessoas envolvidas. No entanto, isso só se dá quando essas políticas são apresentadas a stakeholders (interessados) em potencial, em uma linguagem clara, já que elas são divulgadas e utilizadas para guiar a prática. Sugere-se, assim, que a construção de uma cultura de avaliação é necessária para que uma política de avaliação seja implementada efetivamente de modo a ser plenamente utilizada. Esse artigo apresenta, de maneira concisa, o que os autores entendem por " cultura de avaliação" e " política de avaliação" ; discute a importância de políticas de avaliação na prática da avaliação e da meta-avaliação; e destaca as possíveis conseqüências da ausência dessas políticas. A partir de tais considerações, surgem recomendações que têm como intuito inspirar o desenvolvimento e a implementação dessas políticas. Finalmente, são apresentadas reflexões baseadas na experiência brasileira com relação às inter-relações " cultura-política-prática" na avaliação.

There is no doubt that having evaluation policies makes the evaluator's job easier, by providing more transparency to the evaluation process and more security to those involved. However, this can only happen when policies are presented to potential stakeholders in clear language, as they are disseminated and utilized for guiding practice. This suggests that building an evaluation culture is necessary in order to effectively implement an evaluation policy, so it can be fully utilized. This paper briefly introduces and presents what the authors understand as the concept of " evaluation culture" and " evaluation policy" . Then, it discusses the importance of evaluation policies for practice of both evaluation and meta-evaluation, and points out the possible consequences of absence of policies. Recommendations are derived from these considerations in order to inspire procedures to build and implement evaluation policies. Finally, reflections are presented based on the Brazilian experience about " culture-policy-practice" inter-relations in evaluation.

No hay duda de que las políticas de evaluación tornan el trabajo del evaluador una tarea más fácil por dar más transparencia al proceso de evaluación y más seguridad a las personas participantes. Todavía, eso solo se da cuando esas políticas son presentadas a stakeholders (interesados) en potencial, utilizando lenguaje clara, ya que ellas son divulgadas y utilizadas para guiar la práctica. Se sugiere, así, que la construcción de una cultura de evaluación es necesaria para que una política de evaluación sea implementada efectivamente para ser plenamente utilizada. Ese artículo presenta, de modo conciso, lo que los autores entienden por " cultura de evaluación" y " política de evaluación" ; discute la importancia de políticas de evaluación en la práctica de la evaluación y de la meta-evaluación; y destaca las posibles consecuencias de la ausencia de esas políticas. A partir de tales consideraciones, surgen recomendaciones que tienen como intuito inspirar el desarrollo y la implementación de esas políticas. Finalmente, son presentadas reflexiones basadas en la experiencia brasileña considerando las interrelaciones " cultura-política-práctica" en la evaluación.

Este artigo apresenta uma nova metodologia para meta-avaliação que utiliza conjuntos fuzzy e lógica fuzzy. Esta metodologia é composta por um instrumento de coleta de dados e por um sistema hierárquico de inferência fuzzy. As vantagens da metodologia proposta são: (i) o instrumento de coleta de dados, que permite respostas intermediárias; (ii) a capacidade do sistema de inferência de se adaptar a necessidades específicas; e (iii) transparência, através da utilização de regras lingüísticas que facilitam tanto o entendimento como a discussão de todo o processo. As regras foram construídas com base nas diretrizes estabelecidas pelo Joint Committee on Standards for Educational Evaluation(1994) e por informações fornecidas por especialistas. O sistema pode auxiliar avaliadores que ainda não têm experiência em meta-avaliação. Um estudo de caso é apresentado como validação da metodologia proposta.

This paper presents a new methodology for meta-evaluation that makes use of fuzzy sets and fuzzy logic. It is composed of a data collection instrument and of a hierarchical fuzzy inference system. The advantages of the proposed methodology are: (i) the instrument, which allows intermediate answers; (ii) the inference process ability to adapt to specific needs; and (iii) transparency, through the use of linguistic rules that facilitate both the understanding and the discussion of the whole process. The rules are based on guidelines established by the Joint Committee on Standards for Educational Evaluation (1994) and also represent the view of experts. The system can provide support to evaluators that may lack experience in meta-evaluation. A case study is presented as a validation of the proposed methodology.

Este artículo presenta una nueva metodología para meta-evaluación que utiliza conjuntos fuzzy e lógica fuzzy. Esta metodología es compuesta por un instrumento de coleta de dados y por uno sistema de inferencia fuzzy. Las ventajas de la metodología propuesta son: (i) el instrumento de coleta de dados, que permite respuestas intermediarias; (ii) la capacidad del sistema de inferencia de adaptarse a necesidades específicas; (iii) transparencia, a través de la utilización de reglas lingüísticas que facilitan tanto el entendimiento como la discusión de todo el proceso. Las reglas fueron construidas con base en las directrices establecidas por el Joint Committee on Standards for Educational Evaluation(1994) y por informaciones fornecidas por especialistas. El sistema puede auxiliar evaluadores que aún no tienen experiencia en meta-evaluación. Un estudio de caso es presentado comovalidación de la Metodología propuesta.

Este trabalho descreve as atividades de um programa de desenvolvimento social local em comunidades de baixa renda, bem como, sua concomitante avaliação e suas principais conseqüências, conduzidos por uma organização sem fins lucrativos, no Brasil. Os aspectos mais originais desta experiência foram: (a) reconhecimento da capacidade da comunidade em detectar suas próprias necessidades; (b) seleção dos melhores parceiros para realizar as ações e de uma equipe competente para conduzir a avaliação e a meta-avaliação; (c) ênfase na capacitação das comunidades em avaliação, auto-determinação, e auto-sustentabilidade; e ainda (d) devolução contínua de processo e resultados a parceiros, financiadores, e comunidades. Algumas das conseqüências visíveis desta avaliação foram: (a) a percepção do crescimento do número de crianças na escola, do seu desempenho e do respeito por valores morais; (b) redução de violência, abuso sexual, trabalho infantil e consumo de droga; (c) substancial impacto na própria instituição avaliadora no que se refere ao seu compromisso de construir e inovar metodologias. Espera-se que a melhoria da situação atual seja um preditor do desenvolvimento de um futuro digno para as comunidades.

This paper describes the activities of a slum-improvement community Program and its concomitant evaluation, both conducted by a non-profit evaluation organization in Brazil, as well as their imminent consequences. The unique aspects of this experience were: (a) recognizing the community's knowledge for detecting its own needs; (b) selecting the best partnership to develop the activities and a competent team to conduct evaluation and metaevaluation; (c) emphasis on community capacity building in evaluation, self-determination, and self-sustainability, and (d) continuous feedback to partners, sponsors and the community. Some visible consequences of this evaluation were: (a) an observed increase in the number of children in school, their performance and respect for moral values, (b) reduced violence, sex abuse, child labor and drug consumption and (c) a notable impact on the evaluating organization itself seen in their commitment to building an innovative methodology. Hopefully the betterment of the present situation is predictive of a dignified future opening up for the community.

Este trabajo, conducido por una organización sin fines lucrativos, describe las actividades de un programa de desenvolvimiento social en comunidades de baja rienda, bien como, su concomitante evaluación y sus principales consecuencias. Los aspectos más originales de esta experiencia fueron: (a) reconocimiento de la capacidad de la comunidad en detectar sus propias necesidades; (b) selección de los mejores aparceros para realizar las acciones y de una equipe competente para conducir la evaluación y la meta-evaluación; (c) énfasis en la capacitación de las comunidades para la evaluación, autodeterminación y autosustentabilidad; y aún, (d) retorno de los resultados a los aparceros, patrocinadores y comunidad. Algunas de las consecuencias visibles de esta evaluación fueron: (a) percepción del aumento del número de estudiantes, de la mejoría de su desempeño y desenvolvimiento de sus valores morales; (b) reducción de violencia, abuso sexual, trabajo infantil y consumo de drogas; (c) impacto substancial en la propia institución evaluadora con relación a su compromiso en construir y innovar procedimientos metodológicos. Se espera que la mejoría de la situación sea preanunciador del desenvolvimiento de un futuro digno para las comunidades.

O artigo apresenta a " Pesquisa Nacional Qualidade da Educação: a escola pública na opinião dos pais" , realizada pela Fundação Cesgranrio para o DAEB/INEP/MEC, em 2004/2005. A pesquisa caracteriza-se por ser um estudo de natureza metodológica qualiquantitativa, que teve por objetivo produzir uma visão geral e compreensiva da relação entre escola e responsáveis de alunos, a partir da perspectiva dos pais/responsáveis dos alunos. A metodologia utilizada para a coleta de informações, foi efetuada em duas etapas: a primeira, através da realização de 10 grupos focais, e a segunda, através da aplicação de questionários a 10.500 pais ou responsáveis, entrevistados em todas as unidades federativas brasileiras. Os resultados apresentados no artigo ilustram as percepções e expectativas dos pais em relação à escola de seus filhos, estudantes de instituições públicas, estaduais e municipais de Ensino Fundamental. A pesquisa revelou, entre outros resultados, que os responsáveis pelos alunos da escola pública brasileira, de modo geral, estão satisfeitos com a educação recebida hoje por seus filhos, considerando-a melhor do que a educação que receberam em sua época de estudo.

This paper presents a " National Research on the Quality of Education: Parents' Opinions about Public Schools" , done by Fundação Cesgranrio for DAEB/INEP/MEC in 2004/2005. The research is qualitative and quantitative in its methodological nature, and aimed at producing a comprehensive and general view of the relationship between schools and students' guardians, from the parents/guardians' perspective. Two different methodologies were used to gather information: in the first stage, information was gathered through ten focus groups; in the second one, through surveys answered by 10.500 parents or guardians, from all of the Brazilian states. The results presented here show the views and expectations of parents towards their children's schools. The research involved students from both municipal and state public elementary schools. Besides other results, the research revealed that parents of Brazilian public school students are generally satisfied with the education received by their children today and that they consider it better than the one received by themselves when they were students.

El artículo presenta la " Pesquisa Nacional Calidad de la Educación: La escuela pública en opinión de los padres" , realizada por la Fundación Cesgranrio para el DAEB/INEP/MEC en 2004/2005. La pesquisa se caracteriza por ser un estudio de naturaleza metodológica calidad-cuantitativa, que tuvo como objetivo producir una visión general y comprensiva de la relación escuela-responsables de alumnos, a partir de la perspectiva de los padres/responsables de los alumnos. La metodología utilizada para la recogida de información, efectuada en dos etapas, la primera, a través de la realización de 10 grupos focales y la segunda, a través de la aplicación de cuestionarios en 10.500 padres o responsables, entrevistados en todas las unidades federativas brasileñas. Los resultados presentados en el artículo ilustran las percepciones y expectativas de los padres en relación a la escuela de sus hijos, estudiantes de instituciones públicas, estaduales y municipales de Enseñanza Fundamental. La pesquisa revelo entre otros resultados, que los responsables por los alumnos de la escuela pública brasileña, en general, están satisfechos con la educación recibida hoy por sus hijos, considerándola mejor de lo que la educación que recibieron en su época de estudios.

Uma avaliação pode ser um importante instrumento para o exercício da democracia. Para que isso ocorra é preciso assegurar a qualidade da avaliação, bem como a utilização apropriada dos seus resultados (PATTON,1997). Desta forma, a construção de uma sociedade democrática, que busca a melhoria permanente dos seus processos sociais (FETTERMAN; WANDERSMAN, 2005), depende do aprimoramento contínuo da sua prática de avaliação, em suas variadas manifestações. No Brasil, há aproximadamente 3 anos, foi criada a Rede Brasileira de Avaliação. Uma rede que, em sua concepção teórica, não possui limites ou fronteiras de discussão. Contudo, existem aspectos culturais e históricos (envolvendo valores), que criam limites para as referidas discussões e estabelecem fronteiras entre as diferentes instâncias. Este trabalho apresenta alguns destes limites e fronteiras, refletindo sobre a forma como aqueles que encomendam e que conduzem avaliações vêm contornando os limites e ultrapassando fronteiras.

Evaluation may be a relevant tool for the practice of democracy. In order for it to occur, quality and proper utilization of its results must be assured (PATTON, 1997). Therefore, the consolidation of democratic principles in a society and the promotion of effective social interactions (FETTERMAN; WANDERSMAN, 2005) will benefit enormously from a greater and better use of evaluation in all possible formats. The Brazilian Evaluation Network was created approximately three years ago in a country with a recent history of democratic practice. Within a theoretical framework networks do not have boundaries or limits for debate. However, cultural and historical aspects create limits for the discussions and boundaries among its participants. This paper intends to shed light into some of these limits and boundaries, reflecting over how they are being overcome.